Holdout Validation | Machine Learning | Pusan National University

학습 자료계수 같은 모델의 매개변수를 추정하는 데 쓴다.

검증 자료후보 모델과 설정을 비교해 고르는 데 쓴다.

테스트 자료선택에 쓰지 않고 고른 모델의 성능을 마지막에 평가한다.

같은 자료도 나누는 방식에 따라 검증 MSE가 달라진다

관측 40개를 20개씩 학습 자료와 검증 자료로 나눈다. 분할 번호를 바꾸면 검증에 들어가는 관측과 적합한 곡선이 바뀌고, 다항 차수를 바꾸면 같은 분할에서 후보 모델이 바뀐다.

분할 번호 1

다항 차수 2

왼쪽: 채운 점은 학습 관측, 빈 원은 검증 관측, 파란 곡선은 학습 관측으로 적합한 다항 회귀, 빨간 점선은 검증 관측의 잔차다. 오른쪽: 선 하나가 분할 하나의 차수별 검증 MSE이고, 초록 선이 고른 분할, 초록 점이 고른 차수다.

2차 모델로 고정하고 검증 자료 비율을 바꾸면 학습·검증 관측 수와, 열 번 다르게 나눈 검증 MSE의 평균과 흩어짐이 바뀐다.

검증 자료 비율

행이 검증 자료 비율이고 점 하나가 분할 하나의 검증 MSE다. 초록 세로 막대는 열 번의 평균, 파란 점선은 관측 40개 전체로 학습한 2차 모델을 새 관측 2,000개에서 잰 MSE다(실제 분석에서는 알 수 없는 값). 흐린 행은 고르지 않은 비율이다.

관측 40개를 학습 20개, 검증 10개, 테스트 10개로 나누고 1차부터 6차까지 비교한다. 차수를 고르는 데 쓴 자료를 바꾸면 고른 차수와 최종 성능으로 보고하는 값이 바뀐다.

차수를 고르는 데 쓴 자료

행은 다항 차수다. 초록 테두리 행이 고른 차수, 초록 칸이 고를 때 비교한 열이다. 마지막 열은 같은 모델을 새 관측 2,000개에서 잰 MSE이며 실제 분석에서는 알 수 없다.